toCサービス × AI実装のリアル 〜成功談から失敗談まで〜「ハッカー鮨」

https://gyazo.com/2231e53546e25e32eced8457d10cd7fb

AI活用における精度検証と信頼性担保

https://gyazo.com/1e9712bcaf532974ef6604c15fd826e2

https://gyazo.com/6d9850c6ec0474882f671042cdb9375e

https://gyazo.com/511e8b273e3306196da8753c448a521f

https://gyazo.com/4b8534608c3be1d76fc68105be910eea

精度検証の信頼性担保

アプローチ１

既存の商品を使った評価

正解データとして同じ回答となれば正解

正解を高めるように改善サイクルを回す

精度検証

80％までで頭打ち

既存のデータとの比較ではうまくできない

商品情報が正規化が微妙

AIが高出力した場合は不正解にしてしまう

測定した精度と同じ環境で出せるかが保証できない

アプローチ２

https://gyazo.com/9e3ee8b7060a225eed75a69b89d24cd2

本番で部分導入して評価

人間に修正されなかったら正解

正誤判定ではなく人間がどう修正したかがわかる

本番環境でデプロイして待つ必要はある

正誤判定と修正内容でより詳細な分析ができるようになった

人間のチェックを外せるところはまだ先

https://gyazo.com/cae437d1f6628e9caf36e15146494f99

https://gyazo.com/cd717c9a6e365ed7667c0bd1acd537e9

https://gyazo.com/1cd55756598208f382bb416707d9a521

https://gyazo.com/928ab2ff2bb82c69de6752ee5f0f34d5

モノレポはAIの知識基盤

ドメイン全体を理解した状態でコードを書ける

ルール・スキル・コマンドを整備している

Rules

アーキテクチャ、テスト規約、命名規則

Skills＆コマンド

レビュー、コミットPR

実例：AIレビューの進化

１つのAIにレビューさせるとコンテキスト逼迫で指摘がブレる

観点ごとにサブエージェントを独立させる

構造・UI・API・セキュリティ・テスト・分析

設計原則

AIは決定論的な挙動をしてくれない課題

スクリプトはMarkdownに書かずにSkill化する

確率的なブレは残るが観点を忘れるのは解消している

https://gyazo.com/96b0cbc356952f55094579f752c9b3d1

心理的な問題

そもそも変わることへの不安

わからないものへの恐怖

SWEの仕事が奪われるのではないか

既存のコードを汚される不安

にがい経験

AIで出力したものを修正する

レビュー・動作確認疲れ

泥臭くやったこと

予算の確保

当たり前のことはまずやる

CLAUDE.md

skills書くとか

レビューモデルに学習

Issueやdescriptionを書かせる

本当にやるべきことを確認する

プロダクトを届けることがバリュー

AIが入って変わった未来を描く

AIネイティブ化はマインドの変革

https://gyazo.com/4d3ab15e62cab3004d1d8e749141aafe

hirashin

ユーザー特性

具体的な購入意図があるユーザー

ブラウジングユーザー

https://gyazo.com/a44039f8aebcfd3b867829e151a8e081

https://gyazo.com/9ce2cf59db54dd8bd38e23c04d39f7c8

取り組み１

投稿情報の定量化

LLMで構造化、特性抽出

LLMが抽出して人間による間引き

ファクト担保の面で調整

少数な投稿での信頼性

マーケターが参考にする

取り組み２

A：グッとくる投稿の発掘

社内Slackで発掘したのをAIに学習させる

素のAIにいい感じの投稿を見つけてくるようにする

B：学ばせたAIのがよい投稿を拾ってきやすい

商業的に強そうなワードが並ぶ

満足・驚き等

ABCテストをさせる

C：ランダム表示された投稿を混ぜる

ABどちらもほぼ同数、同率だった

答えはユーザーはもっている

https://gyazo.com/0fd9a1ec4e2031efe87bd7b39066bd74

https://gyazo.com/58032494d7ff5cd9e634f3467b3d5c74